到目前为止，我们已经看到了多种类型的机器学习算法是如何实现的。我们通常的目标是实现在新的测试数据尽可能高的预测精度，这些新的测试数据是我们的算法在训练期间未曾见过的。事实证明，我们的精确度在训练数据上有一个上限，该上限我们可以在测试数据上预测出的。（有时，我们能够在测试数据的小样本上得到较为幸运，更好的效果，但平均来看会倾向于较差的效果。）从某种意义上说，训练数据是“容易”（学习或者说“容易”拟合），因为该算法（的参数）是被训练数据专门训练出的，也正因为这个（原因），在训练（数据）和测试（数据）间的精度总是有差距。